牛逼了|从0到1搭建Web性能监控系统

本文原文2017年首发在我的个人博客www.ipengtao.com&＃xff0c;今天想到后续文章可能会提及&＃xff0c;提前给大家分享一下&＃xff0c;方便提及的时候大家有印象。

之前给研发团队简单做了一次技术分享&＃xff0c;主要讲了为什么我们要自己做监控&＃xff0c;监控的指标维度&＃xff0c;监控基本流程及常见监控工具介绍&＃xff0c;最后如何从零快速开始搭建一套自己的监控工具&＃xff0c;更多请在「涛哥聊Python」后台回复「PPT」。

工具介绍

1. Statsd 是一个使用Node开发网络守护进程&＃xff0c;它的特点是通过UDP&＃xff08;性能好&＃xff0c;及时挂了也不影响主服务&＃xff09;或者TCP来监听各种数据信息&＃xff0c;然后发送聚合数据到后端服务进行处理。常见支持的「Graphite」&＃xff0c;「ElasticaSearch」&＃xff0c;「InfluxDB」 等等 &＃xff0c;它集成了各种语言的客户端API&＃xff0c;这里我们使用了jsocol/pystatsd: A Python client for statsd进行数据收集。

2. Graphite 是一套Python写的开源编程接口&＃xff0c;主要是用来收集服务器的及时状态&＃xff0c;在这里主要作为statsd的数据后端。分为了三个子项目

- carbon 守护进程&＃xff0c;接收StatsD发送过来的原始统计数据。

- whisper 用来存储统计数据的时间序列数据库。

- graphite webapp 用来图形化展示统计数据的web项目

3. Grafana 使用Go开发&＃xff0c;可以在界面上设计调整自己的统计图表&＃xff0c;支持多重报警&＃xff0c;可定制化。

安装

在这里我使用了[synthesize(https://github.com/obfuscurity/synthesize)进行快速安装Graphite和Statsd包&＃xff0c;这里面需要注意安装数据在 **/opt/graphite ** 目录下面。这里面我们安装启动了

service carbon-cache start # statsd数据处理后会进入中转
service memcached start # 缓存
service collectd start # 收集服务负载可选
service apache2 start # 这可以通过使用nginx替换
service statsite start # statsd的后端服务


这里面需要单独启动graphite-web应用&＃xff0c;端口启动&＃xff1a;0.0.0.0:8080&＃xff0c;后面配置数据源需要使用。

cd /opt/graphite/
sudo ./run-graphite-devel-server.py /opt/graphite/


Grafana数据包可以通过手动下载安装也可以通过apt-get 安装

• sudo apt-get install grafana

启动之后访问3000端口就能看到这样一个页面&＃xff0c;默认的帐号密码&＃xff1a;admin&＃xff0c;admin可以通过配置github或者google登录。

login

数据收集

Python端我们使用statsd进行数据统一打点到到监控服务器收集

配置Graphite

进入Grafana后台&＃xff0c;进行配置点击 「Data Sources」进行配置Graphite的数据&＃xff08;来自前端statsd收集&＃xff09;

data_source

接下来配置对应的数据展示&＃xff1a;

add-graph

到此基本的数据配置就完了&＃xff0c;恭喜你拥有了一个完整的监控系统。更多请在「涛哥聊Python」后台回复「PPT」。

为了方便理解这里我补充一下&＃xff0c;数据从应用内&＃xff0c;添加agent&＃xff0c;把应用的时间性能数据通过statsd收集发送到服务端&＃xff0c;通过carbon统计&＃xff0c;whisper存储最后展示在graphite&＃xff0c;其中这里面我们用grafana来替代了graphite原生的UI展示&＃xff0c;也就是我们题图的效果。

欢迎大家给我留言&＃xff0c;讨论&＃xff0c;后台回复「加群」&＃xff0c;我们一起讨论。

相关阅读

Python 工匠&＃xff1a;写好面向对象代码几个原则

效率工具|创业公司常用的一些第三方服务-协作篇